# autor: Fabiano A. Lima
# esse arquivo contém o código usado para obter os dados dos sites dos veículos
# usados no estudo. Como esses sites podem sofrer alteração, reocmenda-se que, para fins de 
# reprodutibilidade, se use os arquivos salvos quando da elaboração dos estudo. 


library(tidyverse)
library(rvest)
library(urltools)
library(lubridate)

source("pesquisador.r", encoding = "utf8")
source("gera_tabela.r", encoding = "utf8")

folha <- folha() 
o_globo <- o_globo()

data_ini <- "22/06/2008"
data_fim <-"31/07/2011"

# Monta tabela básica somente com sumário das buscas (resultados totais)

totais_o_globo <- c(
  # testes dos critérios de busca
  o_globo$busca_texto("satiagraha", "", "", "", data_ini, data_fim, T, T)$total,
  o_globo$busca_texto("", "fausto sanctis satiagraha", "", "", data_ini, data_fim, T, T)$total,
  o_globo$busca_texto("", "fausto sanctis", "", "", data_ini, data_fim, T, T)$total,
  o_globo$busca_texto("", "fausto sanctis", "", "satiagraha", data_ini, data_fim, T, T)$total
)

totais_folha <- c(
  #testes dos critérios de busca
  folha$busca_texto("exato:satiagraha", data_ini, data_fim, T, T)$total,
  folha$busca_texto("todos:fausto sanctis satiagraha", data_ini, data_fim, T, T)$total,
  folha$busca_texto("todos:fausto sanctis", data_ini, data_fim, T, T)$total,
  folha$busca_texto("todos:fausto sanctis, nenhum:satiagraha", data_ini, data_fim, T, T)$total
  
)

# Consolida resultados em dataframe único para salvar em arquivo

criterios <- c("Operação", "Operação e Magistrado", "Magistrado", "Magistrado sem Operação")

tbl_citacoes <- tibble(
  "Critério" = criterios,
  "Folha" = totais_folha,
  "O Globo" = totais_o_globo
)

saveRDS(tbl_citacoes,"./data/tbl_citacoes_fs_satiagraha.rds")
write.csv(tbl_citacoes,"./data/tbl_citacoes_fs_satiagraha.csv")

# Busca dados detalhados da Folha e gera arquivos
folha_fs_sem_satiagraha <- folha$busca_texto("todos:fausto sanctis, nenhum: satiagraha", data_ini, data_fim)
saveRDS(folha_fs_sem_satiagraha, "./data/folha_fs_sem_satiagraha.rds")
write_lines(folha_fs_sem_satiagraha, "./data/folha_fs_sem_satiagraha.txt")

# Buscando dados detalhados de O Globo e gera arquivos
o_globo_fs_sem_satiagraha <- o_globo$busca_texto("", "fausto sanctis", "", "satiagraha", data_ini, data_fim, 1)
saveRDS(o_globo_fs_sem_satiagraha, "./data/o_globo_fs_sem_satiagraha.rds")
write_lines(o_globo_fs_sem_satiagraha, "./data/o_globo_fs_sem_satiagraha.txt")
